#Experiential Learning

3 篇

Learning to Coach for Experiential Learning

Learning to Coach：训练 LLM 教练从轨迹中提取可操作经验

🧭 LLM 教练 · 经验学习与多智能体协作 ★ 深度解读

Microsoft Research · Tsinghua University

训练一个 LLM-as-a-Coach 用 GRPO 从冻结 actor 的轨迹中提取经验，以引导正确性为奖励，显著提升推理与交互游戏表现

📌 工作参考价值（4 点）

分离 actor 与 coach，避免主模型微调：在电商推荐/搜索 Agent 中，可保持主策略或大模型冻结，训练一个轻量 coach 从用户会话、行为轨迹、失败案例中提取可操作经验（如用户偏好摘要、失败原因、下一步策略），作为上下文注入主模型，既保留主模型通用能力，又降低全量微调成本。
用下游可验证指标直接训练 coach：将点击、转化、任务完成等可验证业务指标作为 reward，通过 GRPO 训练 coach 生成对特定 actor 更有用的经验。same-instance reward 用于纠错和保留问题细节，cross-instance reward 鼓励提取跨用户/跨品类/跨场景的通用规则，可借鉴到跨域推荐或策略迁移。
迭代式经验更新，算力用在刀刃上：让 coach 在多轮交互中不断更新并缩短经验笔记，逐步收敛到更精炼的指导信息，降低后续推理成本。论文证明将额外算力花在迭代 coach 引导上比单纯扩大 actor 解码预算更有效，这对于生成式推荐或 Agent 多步决策的推理优化有直接参考价值。
OOD 迁移潜力：在可验证任务上训练的 coach 可迁移到较难推理、交互游戏、指令跟随等未见任务，说明这种“经验提取”能力具有一定通用性，可用于跨任务的知识蒸馏与复用。

MultiAgent | 2026-09-14 | cs.CL | score 8/10

RoE-FND：融合经验学习增强LLM的通用证据型假新闻检测

🧭 LLM 推理增强 · 经验检索

Fudan University · Hohai University

构建可复用推理经验库并通过检索经验裁决对立论证，提升LLM假新闻检测与跨域泛化能力

📌 工作参考价值（4 点）

经验库构建方法：在电商内容审核（如虚假评论、商品描述真实性）中，可让 LLM 同时生成无约束判断与给定真实标签后的条件判断，将两者分歧提炼为可复用的审核规则/经验条目，沉淀成行业/品类专属经验库。
双论证对抗裁决：对高风险 case，不要单次 LLM 判断，而是给出两个相反伪标签分别生成论证，再检索类似历史经验对关键分歧点做裁决；可迁移到客服纠纷判责、商家资质审核等需要证据链推理的业务。
无需微调的跨域迁移：适合电商多品类、多平台快速冷启动，避免频繁训练模型；只需维护经验库与检索器，即可在新类目复用推理能力。
与现有 RAG 结合：把经验库当作比事实片段更高阶的"推理模式索引"，修正 LLM 易被表面说服的倾向，可增强 Agent 在复杂决策中的鲁棒性。

RAG | 2026-08-15 | cs.MM | score 7/10

LLM-as-a-Coach：面向非可验证任务的经验学习

🧭 LLM 后训练从标量奖励转向经验反馈

Microsoft Research · Tsinghua University · Peking University

将 LLM 评估从标量奖励升级为细粒度经验反馈，通过上下文蒸馏提升开放任务的后训练效果

📌 工作参考价值（4 点）

广告文案 / 推荐理由生成：将点击、转化等弱信号通过教练模型转化为细粒度的文本反馈（如“信息量不足”“说服力弱”），再用 EL 蒸馏优化生成策略，替代只优化点击率的标量奖励，能显著提升文案质量与多样性。
对话式推荐系统：在多轮交互中，用 LLM 教练对每轮回复进行多维度评价（相关性、说服力、个性等），作为经验知识输入策略模型，缓解纯奖励优化导致的单调回复或“套路化”问题。
反馈信号设计：借鉴 EL 的教练设计，将评分准则（rubric）的文本描述直接作为经验知识，无需额外训练奖励模型，适合电商场景中快速部署新产品推荐的文案评估。
工程实现：EL 的 on-policy 上下文蒸馏可通过偏好对（preference pairs）实现，与 DPO 流程兼容，避免复杂的 RL 基础设施，对线上系统实时更新更友好。

Training | 2026-07-19 | HF Daily | score 7/10